วัดไกลกังวล ตามกองโบราณคดี กรมศิลปากร พิสูจน์แล้วว่าสร้างขึ้นในสมัยลพบุรี (พุทธศักราช ๑๐๐๒ หนึ่งพันห้าร้อยกว่าปีที่แล้ว) แต่กลายเป็นวัดร้างมากี่ร้อยปีหรือถูกทะนุบำรุงขึ้นกี่ครั้งนั้นยังมิอาจค้นพบได้ ในละแวกใกล้เคียง เช่น ทิศเหนือ ด้านเชิงเขาลงไปใกล้บ้านสวนลาว มีวัดวิหารเก้าห้อง ซึ่งมีเจดีย์เก่าเป็นหลักฐานและบนยอดเขาหนองสอด ก็มีเจดีย์ปรากฏเช่นกัน ส่วนทิศตะวันออก ตีนเขาพื้นราบก็มีวัดเก่า เรียกว่า วัดไกรลาศ (ไกรราษฎร์หรือหนองทาระภู) (ปัจจุบัน คือ วัดเทพหิรัณย์) โบราณสถานดังกล่าวเหล่านั้น สร้างในสมัยลพบุรีทั้งสิ้นลักษณะวัสดุก่อสร้างที่เหลือให้เห็น เป็นซากเจดีย์ซึ่งก่อด้วยอิฐหนาใหญ่ยาว ส่วนเศษกระเบื้องดินเผาที่เหลือเห็นชัด ก็คือ ตะขอกระเบื้อง มีลักษณะงอแหลมยาวราวนิ้วชี้เห็นจะได้ ส่วนอื่นๆ ที่เหลือเป็นส่วนองค์พระพุทธรูปแกะด้วยหินทรายแดง เช่น เศียร แขน และหน้าตัก ฯลฯ ส่วนฐานเจดีย์นั้นเป็นหลุมลึกลงไป เพราะสมัยนั้นนักนิยมของเก่าได้ฝากฝีมือไว้

เล่ากันสืบมาว่า เมื่อวัดไกลกังวลตกอยู่ในสภาพรกร้างนั้น ทายกทายิกา บ้านใกล้เรือนเคียงได้ช่วยกันนำพระพุทธรูปและโบราณวัตถุที่มีอยู่ไปไว้วัดที่มีพระสงฆ์ เช่น หลวงพ่อแดง อยู่ที่วัดประชุมธรรม (ทับนา), หลวงพ่อดำ วัดหนองทาระภู, พระพุทธมาลีศรีเนินขาม วัดเนินขาม และระฆังอยู่ที่วัดหนองแจง ทั้ง ๔ วัดอยู่ในอำเภอหันคาเช่นกัน พระพุทธรูปและโบราณวัตถุเหล่านี้ล้วนศักดิ์สิทธิ์ มีผู้เคารพนับถือกันมาก จนกลายเป็นสมบัติคู่วัดคู่บ้านไปในที่สุด

อย่างไรก็ดี เมื่อมองดูภาพความรุ่งเรืองในอดีตแล้ว ต้องขอยกสองมือประนมอนุโมทนาแก่พุทธบริษัทในสมัยบรรพกาลที่ดำรงมั่นในพระพุทธศาสนา ได้ร่วมกันสร้างอารามเป็นพุทธบูชา ธรรมบูชา สังฆบูชา เพื่อเพิ่มทาน ศีลและภาวนาบารมีให้แก่ตนและอนุชนรุ่นหลัง อันเต็มไปด้วยวิริยะอุตสาหะอย่างยิ่งยวด แต่สามัญลักษณะมี อนิจจัง เป็นต้น ทำให้ทุกอย่างมีเกิดขึ้นและหมดไปเป็นธรรมดา เป็นไปตามกาลและตามอายุขัย เป็นอยู่นานเท่าไรไม่อาจหยั่งรู้ได้